DemoPSD: Disagreement-Modulated Policy Self-Distillation
DemoPSD：基于分歧调制的策略自蒸馏
🧭 LLM自蒸馏与探索保持 ★ 深度解读
City University of Hong Kong · Tsinghua University · Shenzhen University of Advanced Technology · Chinese University of Hong Kong, Shenzhen
通过自适应混合教师与学生分布的反向KL重心目标，缓解特权信息泄露并保持探索能力
📌 工作参考价值（4 点）
- 自适应蒸馏强度：当教师模型（带特权信息）与学生模型（无特权信息）的 token 级分布出现较大分歧时，自动降低教师信号的权重（通过 α_t 控制），避免学生学到不可迁移的捷径。这一 trick 可直接迁移到搜索/推荐中的蒸馏场景，例如知识蒸馏精排模型时，若教师模型访问了后验特征（如点击后行为），可对分歧大的样本或位置减弱蒸馏力度。
- 保持策略熵防止坍缩：DemoPSD 训练过程中保持了比 SDPO 高 33-98% 的策略熵，从而保留了探索能力，提升 best@16 效果。在强化学习推荐或对话策略训练中，可以借鉴这种通过调整蒸馏目标来维持策略多样性、避免过早收敛到次优解的方法。
- 反向KL重心作为蒸馏目标：使用 π_target ∝ (π_teacher)^{1-α}·(π_student)^α 的几何混合替代直接匹配教师分布，比算术平均能产生更锐利且规避模式坍塌的训练信号。对于多任务推荐模型蒸馏，可以类似地对不同任务专家模型的 logits 做几何加权，兼顾多目标。
- EMA 参考模型稳定训练：计算分歧时使用学生模型的指数移动平均副本作为参考，避免训练不稳定。在在线学习或持续自蒸馏的推荐系统中，引入 EMA 教师可以平滑目标，减少噪声干扰。